文献中最近的方法已经利用了文档中的多模态信息(文本,布局,图像)来服务于特定的下游文档任务。但是,它们受到 - (i)无法学习文档的文本,布局和图像尺寸的跨模型表示,并且(ii)无法处理多页文件。已经在自然语言处理(NLP)域中显示了预训练技术,以了解来自大型未标记数据集的通用文本表示,适用于各种下游NLP任务。在本文中,我们提出了一种基于多任务学习的框架,该框架利用自我监督和监督的预训练任务的组合来学习适用于各种下游文档任务的通用文档表示。具体而言,我们将文档主题建模和文档Shuffle预测作为新的预训练任务,以便学习丰富的图像表示以及文档的文本和布局表示。我们利用啰覆网络架构作为骨干,以以端到端的方式从多页文件中编码多模态信息。我们展示我们在各种不同现实文档任务的培训框架的适用性,例如文档分类,文档信息提取和文件检索。我们在不同的标准文件数据集中评估我们的框架,并进行详尽的实验,以比较符合我们框架的各种消融和最先进的基线的绩效。
translated by 谷歌翻译
肺炎是儿童死亡率的主要原因之一,尤其是在全球收入的地区。尽管可以通过不太复杂的仪器和药物进行检测和治疗,但肺炎检测仍然是发展中国家的主要关注点。基于计算机辅助的诊断(CAD)系统可在此类国家 /地区使用,因为其运营成本低于专业医疗专家。在本文中,我们使用深度学习的概念和一种元神父算法提出了一个从胸部X射线检测的CAD系统,以检测胸部X射线。我们首先从预先训练的RESNET50中提取深度功能,该功能在目标肺炎数据集上进行了微调。然后,我们提出了一种基于粒子群优化(PSO)的特征选择技术,该技术使用基于内存的适应参数进行了修改,并通过将利他行为纳入代理人而丰富。我们将功能选择方法命名为自适应和利他的PSO(AAPSO)。提出的方法成功地消除了从RESNET50模型获得的非信息性特征,从而提高了整体框架的肺炎检测能力。对公开可用的肺炎数据集进行了广泛的实验和彻底分析,确定了所提出的方法比用于肺炎检测的其他几个框架的优越性。除了肺炎检测外,AAPSO还可以在某些标准的UCI数据集,用于癌症预测的基因表达数据集和COVID-19预测数据集上进行评估。总体结果令人满意,从而确认AAPSO在处理各种现实生活问题方面的实用性。可以在https://github.com/rishavpramanik/aapso上找到此工作的支持源代码
translated by 谷歌翻译
Computational imaging has been revolutionized by compressed sensing algorithms, which offer guaranteed uniqueness, convergence, and stability properties. In recent years, model-based deep learning methods that combine imaging physics with learned regularization priors have been emerging as more powerful alternatives for image recovery. The main focus of this paper is to introduce a memory efficient model-based algorithm with similar theoretical guarantees as CS methods. The proposed iterative algorithm alternates between a gradient descent involving the score function and a conjugate gradient algorithm to encourage data consistency. The score function is modeled as a monotone convolutional neural network. Our analysis shows that the monotone constraint is necessary and sufficient to enforce the uniqueness of the fixed point in arbitrary inverse problems. In addition, it also guarantees the convergence to a fixed point, which is robust to input perturbations. Current algorithms including RED and MoDL are special cases of the proposed algorithm; the proposed theoretical tools enable the optimization of the framework for the deep equilibrium setting. The proposed deep equilibrium formulation is significantly more memory efficient than unrolled methods, which allows us to apply it to 3D or 2D+time problems that current unrolled algorithms cannot handle.
translated by 谷歌翻译
基于模型的深度学习(MODL)依赖展开的算法是作为图像恢复的强大工具。在这项工作中,我们介绍了一种新颖的单调运营商学习框架,以克服与当前展开框架相关的一些挑战,包括高记忆成本,缺乏对扰动的鲁布利的保证,以及低的可解释性。与使用有限数量迭代的展开架构不同,我们使用深度均衡(DEQ)框架来迭代算法来收敛,并使用Jacobian迭代评估卷积神经网络块的梯度。这种方法显着降低了内存需求,促进了ModL算法的扩展到高维问题。我们将CNN限制为单调运算符,允许我们引入具有保证收敛性的算法和鲁棒性保证。我们在平行MRI的背景下展示了所提出的方案的效用。
translated by 谷歌翻译
图形着色问题(GCP)是计算机科学中最受研究的NP艰难问题之一。给定图形,任务是为所有顶点分配颜色,使得没有共享边缘的顶点接收相同的颜色并且使用的颜色的数量是最小的。已经应用了不同的启发式,元启发式,机器学习和混合解决方法来获得解决方案。解决这个问题,我们使用进化算法的突变。为此目的,我们介绍了图形着色问题的二进制编码。这种二进制编码有助于我们轻松突变,评估,免疫系统和合并颜色,并动态减少着色。在用于图形着色的传统进化算法(EA)中,使用k着色方法​​,并重复运行EA直到达到最低点。在我们的论文中,我们从色度数字的理论上限开始,即最大程度+ 1和进化过程中的一些颜色是未使用的,以动态减少每一代中的颜色数量。我们测试几个标准的Dimacs基准并比较怨恨纸张。最大结果与预期的色彩颜色相同,并且很少的数据集大于预期的色度
translated by 谷歌翻译
Image reconstruction using deep learning algorithms offers improved reconstruction quality and lower reconstruction time than classical compressed sensing and model-based algorithms. Unfortunately, clean and fully sampled ground-truth data to train the deep networks is often unavailable in several applications, restricting the applicability of the above methods. We introduce a novel metric termed the ENsemble Stein's Unbiased Risk Estimate (ENSURE) framework, which can be used to train deep image reconstruction algorithms without fully sampled and noise-free images. The proposed framework is the generalization of the classical SURE and GSURE formulation to the setting where the images are sampled by different measurement operators, chosen randomly from a set. We evaluate the expectation of the GSURE loss functions over the sampling patterns to obtain the ENSURE loss function. We show that this loss is an unbiased estimate for the true mean-square error, which offers a better alternative to GSURE, which only offers an unbiased estimate for the projected error. Our experiments show that the networks trained with this loss function can offer reconstructions comparable to the supervised setting. While we demonstrate this framework in the context of MR image recovery, the ENSURE framework is generally applicable to arbitrary inverse problems.
translated by 谷歌翻译